CPE 332
Computer Engineering
Mathematics II
Week 4: Ch.3 Eigenvector and
Diagonalization
Ch4. Probability Review
• Part I Chapt. 3 Eigenvalue/Eigenvector
• Break
• Chapter 4: Review Probability
• Homework 2: Due
• Homework 3 ส่งสัปดาห์หน ้า ต ้นชั่วโมง
Determinant
Chapter 3 Intro
Diagonalization
Orthogonal and Symmetric
• จาก Theorem ที่กล่าว จุดที่สําคัญคือ
Theorem ที่ 8 สุดท ้าย กล่าวคือ
– ถ ้า Matrix เป็น Real Symmetric เราจะได ้
Eigenvalue เป็นค่าจริง และจะมี Orthogonal Matrix ที่จะมา Diagonalize ได ้
– เมื่อ Matrix เป็น Orthogonal มันจะหา Inverse ได ้ง่าย
– ถ ้าเรา Normalized แต่ละ Eigenvector ที่
คํานวณได ้ให ้มี Magnitude เท่ากับหนึ่ง เราจะ
ได ้ Orthogonal Matrix ที่สามารถ Diagonalize Matrix ที่ต ้องการ
Note: เราเลือก 2 vector ที่
Independent ก ัน โดยการแทน
ค่า β และ γ อะไรก็ได้
• HW 3 Due Next Week
• Chapter 4 Probability Review
• Concept and Definition
– Experiments, Event, Outcomes, Sample Space
– Laplace Definition, Definition from Set
• Independent and Mutual Exclusive
– Axioms of Probability, Vein Diagram, Independent concept, ME Concept
• Conditional Probability and Bayes
• PDF and CDF Concept and Properties
– Continuous and Discrete
• Outcome/Sample Point
– ผลลัพท์ที่ได ้จากการทดลอง หรือสุ่มตัวอย่าง
• Sample Space
– Set ของผลลัพธ์ทั้งหมด
• Event
– เงื่อนไขของการทดลอง
• กําหนด Event A, ถ ้าทดลอง N ครั้ง และได ้
ผลลัพธ์เป็นไปตามเงื่อนไข A = NA ครั้ง
N
P[ A
A
=
]
P
robabilit y of
E
vent
O
A ccur = lim
N →∞ N
• Sample Space = {1,2,3,4,5,6}
• P(1)=P(2)= … =P(6)=1/6
– Laplace Definition of Probability
– ถ ้าแต่ละ Member ใน Sample Space มีโอกาส
เกิดเท่าๆกัน
• A = Even
• A = {2,4,6}
• P(A) = |{2,4,6}|/|S| = 3/6 = ½
• A ME B
• เมื่อเกิด Event A จะเกิด Event B ไม่ได ้
• เมื่อทอยลูเต๋าได ้เลขคู่ จะไม่ใช่เลขคี่
– ดังนั้นถ ้า A = Even, B = Odd
– A ME B
• P(A+B) or P(A union B) = P(A) + P(B)
• เห็นได ้ชัดโดยแสดงด ้วย Vein Diagram
A
B
A
B
• ME
A
B
• A∩B =∅
• A∪B=A+B
• P(A∪B)=P(A)+P(B)
• Non ME
A
B
• A∩B ≠∅
• A∪B=A+B- A∩B
– Inclusion-Exclusion
Principle
• 1. P(S) = 1
– ทุกๆการทดลอง ผลลัพธ์ต ้องอยู่ใน Sample Space
• 2. 0 =< P(A) =< 1
– ค่าของ Probability ต ้องอยู่ระหว่าง 0 และ 1
• 3. ME: P(A+B)=P(A)+P(B)
– Mutual y Exclusive; Probability ของ Union ของ Event เท่ากับผลบวกของ Probability
ของแต่ละ Event
Conditional Probability
• Probability ของ Event หนึ่ง เมื่อกําหนดให ้
อีก Event หนึ่งได ้เกิดขึ้น
– Probability จะเพิ่มถ ้าสอง Event เกี่ยวข ้องกัน
– Probability จะไม่เปลี่ยนถ ้าสอง Event ไม่เกี่ยว
กัน
• เราเรียกว่าเป็น Statistical Independent
• นอกจากนี้
[
P A \ B] = [
P AB]/ [
P B],
[
P B \ ]
A = [
P
}
AB / [
P
]
A
[
P A \ B] [
P B] = [
P B \ ]
A
[
P
]
A
[
P A \ B] = [
P B \ ]
A
[
P
]
A / [
P B]
Bayes Rule
E1
E3
E6
A
E
E
9
2
E
4
E7
E
E
8
5
Properties
• ในการส่งข ้อมูลแบบ Digital เป็น Frame ขนาด 50 บิต การส่งจะ
สมบูรณ์ได ้ก็ต่อเมื่อทั้ง Frame ไปถึงอย่างถูกต ้อง ถ ้าการเกิด Error ใน
แต่ละบิตของการส่ง(BER = Bit Error Rate) มีโอกาสจะผิดพลาดได ้
เท่ากับ 1/1000 จงหาว่า Frame ที่ส่งจะมี Error เฉลี่ยแล ้วกี่เปอร์เซ็นต์
(FER = Frame Error Rate) ถ ้าการเกิด Error แต่ละ Bit เป็น
Independent
[
P Bit Error] = 10-3
[
P Bit No E
t rror] = 1 -10-3 =
999
.
0
[
P Frame No E
t rror] = P
B
50
[
it No E
t rror] = 0.99950
[
P Frame E
rror] = 1 - 0.99950 = .
0 04879 =
%
879
.
4
• จากสถิติ พบว่าโอกาสที่นักศึกษาชายจะสอบผ่านวิชา CPE332 มีค่า
เท่ากับ 0.5 และโอกาสที่นักศึกษาหญิงจะสอบผ่านมีค่าเท่ากับ 0.4 ถ ้า
วิชา CPE332 เทอมนี้มีนักเรียนชาย 40 คนและนักเรียนหญิง 25 คน จง
หาว่าเฉลี่ยแล ้วจะมีนักเรียนตกกี่คน
• สามารถคํานวนโดยใช ้ค่าถ่วงนํ้าหนัก
• ให ้ Sample Space ประกอบด ้วยนักเรียนชาย(M) และนักเรียนหญิง(F) ดังนั้น S = {M,F}
– สังเกตุว่า Set ทั้งสองเป็น ME คือ Sample Space ถูก Partition เป็นสอง Partition
– P[M]=40/65 และ P[F]=25/65
• ให ้ Event A เป็นเหตุการณ์ที่นักศึกษาจะสอบผ่าน เราได ้
• P[A\M]=0.5 และ P[A\F]=0.4
• จากสมการการ Partition
n
[
P
]
A = ∑ [
P E ] [
P A \ E ] = [
P M ] [
P A \ M ] + [
P F ] [
P A \ F ]
i
i
i 1
=
40
25
=
⋅ .
0 5 +
⋅ 4
.
0
= 4615
.
0
65
65
[
P Fail C
PE332] = P[AC ] = 1 − [
P
]
A = 1 −
4615
.
0
= 5385
.
0
=
%
85
.
53
• ต่อจากตัวอย่างที่ 2: ถ ้าเราสุ่มตัวอย่างนักศึกษามาหนึ่งคนที่ลงวิชา CPE332 เมื่อเทอมที่
แล ้ว จากนั้นถามว่านักศึกษาผ่านวิชานี้หรือไม่ นักศึกษาผู ้นั้นตอบว่าสอบผ่านแล ้ว จง
คํานวณว่า
– 1.โอกาสที่นักศึกษาผู ้นั้นจะเป็นผู ้หญิงเท่ากับเท่าไร
– 2. Probability ที่นักศึกษาสอบผ่านและเป็นผู ้หญิงมีเท่าไร
• 1. ต ้องการหา P[F\A]
[
P F \ ]
A = [
P
]
FA / [
P
]
A = [
P A \ F ] [
P F ]/ [
P
]
A
25
1
= 4
.
0 ⋅
⋅
= 333
.
0
4 =
%
34
.
33
65 0 461
.
5
• 2. ต ้องการหา P[FA]=P[F∩A]
[
P F \ ]
A = [
P
]
FA / [
P
]
A
[
P
]
FA = [
P F \ ]
A
[
P
]
A = [
P A \ F ] [
P F ]
= .
0 3334 ⋅ 4615
.
0
= .
0 1539 =
%
39
.
15
• เมื่อเรากําหนดค่าเป็นตัวเลขของทุกๆ Sample Point ใน Sample Space และถ ้าให ้ Variable แทนผลลัพธ์ที่ได ้จากการทดลอง ดังนั้นผลของการ
ทดลองจะมีค่าเป็นตัวเลข และเราเรียก Variable นั้นว่าเป็น Random Variable ซึ่งปกติแล ้วเรา
มักจะให ้ Random Variable แทนด ้วยตัว Capital
• ที่สําคัญคือ การกําหนด RV ซึ่งเป็นตัวเลขทําให ้เรา
สามารถนําไปคํานวณต่อทางคณิตศาสตร์ได ้
– Mean
– Variance
– Etc.
• เมื่อผลลัพธ์ของการทดลอง(Sample Space)ได ้ Infinite Set การกําหนดตัวเลขมักจะเป็นตัวเลขที่ต่อเนื่อง
– เราได ้ Continuous Random Variable
• เมื่อผลลัพธ์เป็น Finite Set การกําหนดจะใช ้ Set ของ
ตัวเลข มักจะเป็น Integer
– เราได ้ Discrete Random Variable
• Probability ที่จะได ้ผลลัพธ์การทดลองหนึ่งๆ คือ
Probability ที่ Random Variable จะมีค่าตามที่เรากําหนด
• เราสามารถแสดงคุณสมบัติของ RV จากการ Plot ค่า
Probability(y-axis) และค่าของ Random Variable(x-axis)
– Cumulative Distribution Function (CDF)
– Probability Density Function (PDF)
CDF:Cumulative Distribution
Function of RV X
FX(x)
1.0
F (10) = P[ X ≤ 10]
X
x
x = 10
CDF of Normal (Gaussian) Distribution: Continuous
CDF Properties
• ให ้ “หัว”= 0 และ “ก ้อย” = 1
F (x) = P(X ≤ x)
X
1.0
0.5
0
x
0
1
CDF การทอยลูกเต๋า: Discrete RV
• ให ้ ผลเป็นตัวเลขตามหน ้าลูกเต๋า
F (x) = P(X ≤ x)
X
1.0
0.5
0
x
0
1
2
3
4
5
6
7
PDF: Probability Density
Function
f(x)
Area = ∫ f(x)dx = 1
x
PDF of Normal(Gaussian) Distribution : Continuous
Properties of PDF
– ค่าของ Variable ไม่ต่อเนื่อง
• RV X มีค่าเฉพาะที่ X=xi
– F(x) = P(X≤x)
• Function นี้มีความต่อเนื่องด ้านขวามือ
• นิยามสําหรับทุกจุดใน Domain ของ x
• Function เป็นลักษณะขั้นบรรได
• Monotonic Increasing Function จาก 0 ถึง 1
– f(xi) = P(X = xi)
• นิยามเฉพาะจุด ไม่ต่อเนื่อง ค่าเป็นศูนย์ระหว่างนั้น
• บางทีเรียก Probability Mass Function
• ∑f(xi)=1 เสมอ
f(x)
PMF
x
F(x)
CDF
x
– Statistical Average
– Importance PDF
– Joint PDF
– Correlation/Covariance
• Chapter 5: Introduction to Random
Process
– Concept/Definition
– Stationary Concept
– Ergodic Concept
– Autocorrelation and Cross Correlation